Warn when crates.io sends back invalid category slugs

Upload categories specified in the manifest

Auto merge of #3356 - ibabushkin:feature-build-rustflags, r=alexcrichton

Implemented string lookup for `build.rustflags` config key

This addresses the immediate issue described in #3052 .
I am, however, unsure about the current state of the deeper issues mentioned in that issue, but if needed, I can take stab at them as well. :)

Auto merge of #3362 - alexcrichton:slower-ssl, r=alexcrichton

Use -j1 on recursive make for OpenSSL

It looks like OpenSSL building on OSX has races...

Use -j1 on recursive make for OpenSSL

It looks like OpenSSL building on OSX has races...

Refactored ugly rustflags lookup code into a separate function.

Auto merge of #3358 - tshepang:formatting, r=alexcrichton

doc: fix code formatting

Fixed broken testcase for string-based form of rustflags config key.

Auto merge of #3348 - alexcrichton:fix-checksums, r=brson

Fix retrying crate downloads for network errors

Previously the `with_retry` loop was a little too tight where stale state about
the sha256 and data was kept out of the loop. Instead we need to reinitialize
these on each iteration of the loop to ensure that we correctly retry by
forgetting the data we previously downloaded for an aborted download attempt.

Auto merge of #3338 - alexcrichton:correct-vers-flag, r=brson

Require `cargo install --vers` takes a semver version

Historically Cargo accidentally took a semver version *requirement*, so let's
start issuing warnings about how this is now legacy behavior.

Closes #3321

Auto merge of #3335 - alexcrichton:fix-xcomiple, r=brson

Add host dependency path via -L for cross compiles

Now that proc-macro crates can reexport from their dependencies we need to be
able to find the other crates, so ensure that we pass an appropriate -L flag.

Closes #3334

Add host dependency path via -L for cross compiles

Now that proc-macro crates can reexport from their dependencies we need to be
able to find the other crates, so ensure that we pass an appropriate -L flag.

Closes #3334

Auto merge of #3336 - alexcrichton:fix-warning, r=brson

Test for bad path overrides with summaries

Bad path overrides are currently detected to issue warnings in cases where path
overrides are not suitable and have exhibited buggy behavior in the past.
Unfortunately though it looks like some false positives are being issued,
causing unnecessary confusion about `paths` overrides.

This commit fixes the detection of these "bad path overrides" by comparing
`Summary` dependencies (what's written down in `Cargo.toml`) rather than
comparing the `Cargo.toml` of the override with `Cargo.lock`. We're guaranteed
that the package we're overridding has already been resolved into `Cargo.lock`,
so we know that if the two `Cargo.toml` files are equivalent we'll continue
with the same crate graph.

I'm not actually entirely sure why I originally thought it'd be better to go
through the `Cargo.lock` comparison route. Unfortunately that doesn't take into
account optional deps which aren't in `Cargo.lock` but are in `Cargo.toml` of
the override, causing the false positive. This method, however, simply ensures
that the two dependency lists are the same.

Closes #3313

doc: fix code formatting

Auto merge of #3310 - alexcrichton:more-metadata-hashing, r=brson

Apply new fingerprinting to build dir outputs

We now much more aggressively cache the output of the compiler based on feature
sets and profile configuration. Unfortunately we forgot to extend this caching
to build script output directories as well so this commit ensures that build
script outputs are cached the same way with a directory per configuration of
features and output settings.

Closes #3302

Improved error handling to reflect the actual situation, added tests

* One of the tests still doesn't pass, this needs further investigation

Auto merge of #3357 - tshepang:no-exist, r=steveklabnik

doc: remove reference to non-existent function

Auto merge of #3354 - alexcrichton:less-snapshots, r=alexcrichton

Delete old snapshot infrastructure

No longer used

doc: remove reference to non-existent function

Auto merge of #3355 - alexcrichton:change-buckets, r=alexcrichton

Upload to a different bucket

Implemented string lookup for `build.rustflags` config key

Upload to a different bucket

Delete old snapshot infrastructure

No longer used

Auto merge of #3350 - alexcrichton:more-tweaks, r=alexcrichton

Slight tweaks to CI

* Pass `--quiet` to all tests to have some quieter output
* Skip builds on the `master` branch as `auto` is already checked
* Check the right env var for repo branches on appveyor

Slight tweaks to CI

* Pass `--quiet` to all tests to have some quieter output
* Skip builds on branches other than `auto-cargo` as it's already checked
* Check the right env var for repo branches on appveyor
* Only run a few builds on PRs

Fix retrying crate downloads for network errors

Previously the `with_retry` loop was a little too tight where stale state about
the sha256 and data was kept out of the loop. Instead we need to reinitialize
these on each iteration of the loop to ensure that we correctly retry by
forgetting the data we previously downloaded for an aborted download attempt.

Auto merge of #3347 - ibabushkin:master, r=alexcrichton

Reordered rustc arguments.

This adresses #3276 .

Some tests I can't run locally might still fail, I'm fixing those.

The core change is rather trivial, simply reorder some existing code, and update tests to match the new results.

Fixed a few additional tests.

Fixed type breaking some tests.

Changed another batch of tests to account for new rustc argument order.

Auto merge of #3345 - alexcrichton:release-branches, r=alexcrichton

Add support for release branches in Cargo

Follow the same strategy as the compiler for now in basically every respect:

* Add new `--release-channel` configure option, defaulting to `dev`
* Remove old `--enable-nightly`
* Add `--enable-build-openssl` as an orthogonal option
* Hook up Travis/AppVeyor to stable/beta/master branches to do the right
  channel builds.

Add support for release branches in Cargo

Follow the same strategy as the compiler for now in basically every respect:

* Add new `--release-channel` configure option, defaulting to `dev`
* Remove old `--enable-nightly`
* Add `--enable-build-openssl` as an orthogonal option
* Hook up Travis/AppVeyor to stable/beta/master branches to do the right
  channel builds.

Another test update for the argument order changetest update for the argument order change. Please enter the commit message for your changes. Lines starting

Updated one more test to fit new rustc argument order.

[WIP] Reordered rustc arguments.

Auto merge of #3342 - alexcrichton:fix-ssl, r=alexcrichton

Bump git2 dep to fix SSL paths

This commit includes alexcrichton/git2-rs@a8f4a7faa which switches the order of
initialization of libgit2. That commit ensures that the relevant env vars which
a statically linked OpenSSL needs to function are set before libgit2 is
initialized to ensure that libgit2 uses them.

This was regressed accidentally in alexcrichton/git2-rs@071902aa when
initialization was tweaked.

Closes #3340

Bump git2 dep to fix SSL paths

This commit includes alexcrichton/git2-rs@a8f4a7faa which switches the order of
initialization of libgit2. That commit ensures that the relevant env vars which
a statically linked OpenSSL needs to function are set before libgit2 is
initialized to ensure that libgit2 uses them.

This was regressed accidentally in alexcrichton/git2-rs@071902aa when
initialization was tweaked.

Closes #3340

Auto merge of #3339 - SimonSapin:git-short-id, r=alexcrichton

Use short IDs in git dependencies checkout path

… in order to contribute less to the path length limit on Windows: https://github.com/servo/servo/pull/14397

Use short IDs in git dependencies checkout path

… in order to contribute less to the path length limit on Windows:
https://github.com/servo/servo/pull/14397

Apply new fingerprinting to build dir outputs

We now much more aggressively cache the output of the compiler based on feature
sets and profile configuration. Unfortunately we forgot to extend this caching
to build script output directories as well so this commit ensures that build
script outputs are cached the same way with a directory per configuration of
features and output settings.

Closes #3302

Refactor metadata generation

Remove generation all the way in manifest-parsing and defer it until we actually
need it during compilation. Additionally remove lots of weird logic that's no
longer necessary that we're hashing quite a few fields.

Require `cargo install --vers` takes a semver version

Historically Cargo accidentally took a semver version *requirement*, so let's
start issuing warnings about how this is now legacy behavior.

Closes #3321

Test for bad path overrides with summaries

Bad path overrides are currently detected to issue warnings in cases where path
overrides are not suitable and have exhibited buggy behavior in the past.
Unfortunately though it looks like some false positives are being issued,
causing unnecessary confusion about `paths` overrides.

This commit fixes the detection of these "bad path overrides" by comparing
`Summary` dependencies (what's written down in `Cargo.toml`) rather than
comparing the `Cargo.toml` of the override with `Cargo.lock`. We're guaranteed
that the package we're overridding has already been resolved into `Cargo.lock`,
so we know that if the two `Cargo.toml` files are equivalent we'll continue
with the same crate graph.

I'm not actually entirely sure why I originally thought it'd be better to go
through the `Cargo.lock` comparison route. Unfortunately that doesn't take into
account optional deps which aren't in `Cargo.lock` but are in `Cargo.toml` of
the override, causing the false positive. This method, however, simply ensures
that the two dependency lists are the same.

Closes #3313

Auto merge of #3332 - alexcrichton:build-openssl, r=alexcrichton

Compile OpenSSL from source on OSX

I'm seeing a bunch of weird illegal instructions on OSX nightlies for
Cargo. My guess is that they're all related to OpenSSL linking. Right
now we're linking from Homebrew but I have a sneaking suspicion that it
compiles with `-march=native` rather than what we'd like as a portable
binary. To work around this compile OpenSSL ourselves and link it that
way.

Note that I believe this won't bring in the certificate trust store of
OpenSSL on OSX (or at least not the right one from the keychain). We
shouldn't need that, however, as OpenSSL is just used as the
cryptographic primitives in libssh2 and Cargo itself. So in that sense
we shouldn't need it for actually SSL at all.

Compile OpenSSL from source on OSX

I'm seeing a bunch of weird illegal instructions on OSX nightlies for
Cargo. My guess is that they're all related to OpenSSL linking. Right
now we're linking from Homebrew but I have a sneaking suspicion that it
compiles with `-march=native` rather than what we'd like as a portable
binary. To work around this compile OpenSSL ourselves and link it that
way.

Note that I believe this won't bring in the certificate trust store of
OpenSSL on OSX (or at least not the right one from the keychain). We
shouldn't need that, however, as OpenSSL is just used as the
cryptographic primitives in libssh2 and Cargo itself. So in that sense
we shouldn't need it for actually SSL at all.

Auto merge of #3331 - alexcrichton:fix-segfaults, r=alexcrichton

Update git2 fixing initialization races

This updates libgit2/libssh2 bindings to fix initialization races in
OpenSSL. This should fix some of the spurious segfaults we've been
seeing on Travis OSX.

Update git2 fixing initialization races

This updates libgit2/libssh2 bindings to fix initialization races in
OpenSSL. This should fix some of the spurious segfaults we've been
seeing on Travis OSX.

Auto merge of #3326 - tbu-:pr_bump_git2_061, r=alexcrichton

Bump git2 dependency to fix #3312

Bump git2 dependency to fix #3312

Auto merge of #3325 - alexcrichton:fix-flaky, r=alexcrichton

Make a freshness test less flaky

We can't rely on frobbing mtimes, need to actually just wait a whole
second.

Make a freshness test less flaky

We can't rely on frobbing mtimes, need to actually just wait a whole
second.

Auto merge of #3315 - alexcrichton:fix-travis, r=alexcrichton

Really fix OSX nightlies

After #3311 we're now correctly trying to link OpenSSL statically on
OSX. Unfortunately though this is failing to complete on the builders.
Turns out the way we install OpenSSL through Homebrew create "universal
archives" which is essentially an archive with both i686 and x86_64
object files, but separated. The linker takes care of this just fine but
rustc currently chokes on it, unable to include the library statically
into the compiler.

To work around this we prepare our own mini install of OpenSSL by
copying relevant bits into a local directory (like we do on Linux). As
part of this we use the `lipo` tool, which is used to manage these fat
archives, to disassemble the archive and only extract the relevant
architecture. This should make a pre-installation step which both
extracts the information and configures Cargo to use it.

This should also fix the errors we're seeing on Travis I believe.

Really fix OSX nightlies

After #3311 we're now correctly trying to link OpenSSL statically on
OSX. Unfortunately though this is failing to complete on the builders.
Turns out the way we install OpenSSL through Homebrew create "universal
archives" which is essentially an archive with both i686 and x86_64
object files, but separated. The linker takes care of this just fine but
rustc currently chokes on it, unable to include the library statically
into the compiler.

To work around this we prepare our own mini install of OpenSSL by
copying relevant bits into a local directory (like we do on Linux). As
part of this we use the `lipo` tool, which is used to manage these fat
archives, to disassemble the archive and only extract the relevant
architecture. This should make a pre-installation step which both
extracts the information and configures Cargo to use it.

This should also fix the errors we're seeing on Travis I believe.

Auto merge of #3311 - alexcrichton:fix-nightlies, r=brson

Link OpenSSL statically on OSX

Now that Cargo requires OpenSSL >= 1.0.1 transitively through the `openssl-sys`
0.9 release the dynamic libraries for OpenSSL are no longer located on OSX by
default. This means that the support necessary for libssh2 needs to be
statically linked rather than dynamically linked.

Closes #3303

Link OpenSSL statically on OSX

Now that Cargo requires OpenSSL >= 1.0.1 transitively through the `openssl-sys`
0.9 release the dynamic libraries for OpenSSL are no longer located on OSX by
default. This means that the support necessary for libssh2 needs to be
statically linked rather than dynamically linked.

Closes #3303

Auto merge of #3251 - alexcrichton:fix-regr, r=brson

Fix regression with path overrides

If an override points to a path dependency then that's not locked, so we're
missing information for that, but it's already warned about, so no need to
worry.

Closes #3288

Auto merge of #3299 - alexcrichton:fix-tests, r=alexcrichton

Fix tests on nightly

Fix tests on nightly

Auto merge of #3297 - alexcrichton:bump, r=brson

Bump to 0.16.0

Bump to 0.16.0

Auto merge of #3102 - nipunn1313:attempt, r=alexcrichton

Mix feature flags into fingerprint/metadata shorthash

Since building dependencies results in different libraries
depending on the feature flags, I added the feature flags into
the short_hash.

This solves an issue when multiple crates share a target directory
or multiple targets share a common library with divergent feature
flag choice.

I'm not sure if this architecturally the best way to solve this problem, but I did confirm that this fixes the issue I was seeing. I can also add a test for this case if this code is taking the right approach (or if it would help illustrate the issue).

Target_env -> Target_os

Ignore killing_cargo_releases_the_lock on windows

Merge branch 'master' into attempt

- Fix instances of try! converting to ? syntax

Fix regression with path overrides

If an override points to a path dependency then that's not locked, so we're
missing information for that, but it's already warned about, so no need to
worry.

Auto merge of #3286 - rjgoldsborough:build-script-docs-mistake-336, r=alexcrichton

fixing build script docs mistakes

Fixes https://github.com/rust-lang/crates.io/issues/336

Ignore the flaky lock test on older windows

Auto merge of #3283 - saschagrunert:master, r=alexcrichton

Changed try! macros to ? operator

Since the stabilization of the ? operator (release 1.13.0)
the ? operator should be used to use idiomatic Rust.

Auto merge of #3294 - sanxiyn:unused-type-alias, r=alexcrichton

Remove unused type aliases

Found by rust-lang/rust#37631 and necessary to land because of cargotest.

Remove unused type aliases

Changed rustversion to the last successful nightly

Auto merge of #3272 - cuviper:openssl-1.1.0, r=alexcrichton

Update dependencies for OpenSSL 1.1.0 compatibility

The primary targets here are openssl and openssl-sys crates 0.9,
bringing support for OpenSSL 1.1.0.  This requires updating the curl
and git2 related dependencies as well.

A small change is required in cargo itself for the new Hasher API.
Results from the hasher are simply unwrapped for now, matching the
Windows behavior that already panics on error.

More updates for OpenSSL 1.1.0

Changed rustversion to 2016-11-05

Fix one more [/] in env-var test for windows

Fix dll prefix/suffix test for windows

Fix [/] for windows on env_metadata test

Added back __CARGO_DEFAULT_LIB_METADATA handling with comment + test

fixing build script docs mistakes

Fixed too long lines

Changed rustversion to latest nightly release

Link targets in the FRESH step as well

Set OPENSSL_DIR for CI

Update dependencies for OpenSSL 1.1.0 compatibility

The primary targets here are openssl and openssl-sys crates 0.9,
bringing support for OpenSSL 1.1.0.  This requires updating the curl
and git2 related dependencies as well.

A small change is required in cargo itself for the new Hasher API.
Results from the hasher are simply unwrapped for now, matching the
Windows behavior that already panics on error.

Updated indent and rustversion.txt

Auto merge of #3284 - alexcrichton:fix-uploads, r=alexcrichton

Publish builds from the auto-cargo branch

Cargo doesn't use auto, it uses auto-cargo

Publish builds from the auto-cargo branch

Cargo doesn't use auto, it uses auto-cargo

Changed try! macros to ? operator

Since the stabilization of the ? operator (release 1.13.0)
the ? operator should be used to use idiomatic Rust.

Auto merge of #3280 - alexcrichton:test-features, r=brson

Fix passing --features when testing multiple packages

The wrong method was being passed to resolution accidentally. Features specified
via `--features` and `--no-default-features` are spec'd as only applying to the
*current* package, not all packages.

Closes #3279

Fix passing --features when testing multiple packages

The wrong method was being passed to resolution accidentally. Features specified
via `--features` and `--no-default-features` are spec'd as only applying to the
*current* package, not all packages.

Closes #3279

Auto merge of #3278 - alexcrichton:bump, r=alexcrichton

Bump to 0.15.0

Bump to 0.15.0

Auto merge of #3274 - alexcrichton:more-travis-again, r=alexcrichton

More travis again

Landing this again hopefully with the doc fix

Don't use travis-cargo to upload docs

Revert "Revert "Continuously publish Cargo builds""

This reverts commit b008422e92295c2e4de5b7de2284d963b55a6f8c.

Auto merge of #3259 - alexcrichton:more-ro, r=brson

Open crate files readonly first

This allows Cargo to work with read-only `CARGO_HOME` directories where the
cache was prepared ahead of time.

Closes #3256

Auto merge of #3270 - brson:cargo-docs, r=alexcrichton

Revert "Continuously publish Cargo builds"

This reverts commit 7799014dc7330445f62e2f925573ca15dd8e8e03.

Fixes https://github.com/rust-lang/cargo/issues/3269.

The reason doc.crates.io doesn't display correctly is that travis-cargo writes its own index.html that is just a meta-redirect to the api docs, overwriting cargo's own docs.

r? @alexcrichton

Revert "Continuously publish Cargo builds"

This reverts commit 7799014dc7330445f62e2f925573ca15dd8e8e03.

Mix feature flags into fingerprint/metadata shorthash

Since building dependencies results in different libraries
depending on the feature flags, I added the feature flags
into the short_hash. This solves an issue when multiple crates
share a target directory or multiple targets share a common
library with divergent feature flag choice.

- Only link binaries, build scripts, and top level deps
- Handle dylibs differently (no metadata filename / linking)
- Fingerprint based on link_dst rather than file_stem.

This (sadly) limits the effects of dep caching to things
which don't produce a hard-link. Currently, this is only dependent
library crates. Stil a big win.

Add tests for feature freshness